AI

Microsofto Sustabdymas Pokalbių Roboto Triukų

Įmonės autopilotas neseniai pateikė keistus, žalingus atsakymus. Apsaugos mechanizmai turėtų atpažinti ir blokuoti įtartiną veiklą.

Eulerpool News 2024-03-31 15:01

Microsoft Corp. imasi priemonių, kad būtų išvengta dirbtinio intelekto pokalbių robotų skatinimo į keistą ar žalingą elgesį apgaulės būdu. Ketvirtadienį įmonė, įsikūrusi Redmonde, Vašingtone, savo tinklaraštyje paskelbė apie naujas saugumo funkcijas Azure AI Studio. Šis įrankis leidžia kūrėjams sukurti pritaikytus AI asistentus su savo duomenimis.

Nauji įrankiai apima „Prompt-Shields“, skirti atpažinti ir blokuoti sąmoningus bandymus – vadinamuosius promptų injekcijos išpuolius ar jailbreak‘us – kuriais siekiama priversti AI modelį elgtis nenumanomai.

Microsoft imasi spręsti „netiesioginius komandų įterpimus“, kai įsilaužėliai įterpia kenksmingas instrukcijas į duomenis, naudojamus modeliui apmokyti, ir taip skatina jį atlikti neleistinus veiksmus, pavyzdžiui, vartotojų informacijos vagystę ar sistemos užgrobimą.

Tokie atakų tipai, anot „Microsoft“ atsakingo už produktus vyriausiojo pareigūno etikos klausimais Sarah Bird, kelia unikalų iššūkį ir grėsmę. Naujos gynimo priemonės yra sukurta atpažinti įtartinus įvedimus ir juos blokuoti realiuoju laiku.

Be to, „Microsoft“ įdiegia funkciją, kuri įspėja vartotojus apie išgalvotas arba neteisingas atsakymus generuojantį modelį. „Microsoft“ siekia sustiprinti pasitikėjimą savo generatyviosios dirbtinio intelekto įrankiais, kuriuos naudoja tiek vartotojai, tiek įmonių klientai.

Vasario mėnesį įmonė tyrė įvykius su savo Copilot pokalbių robotu, kuris generavo viską nuo keistų iki žalingų atsakymų. Incidentus peržiūrėję Microsoft pareiškė, kad naudotojai tyčia bandė paskatinti Copilotą duoti tokius atsakymus.

Microsoft yra didžiausias OpenAI investuotojas ir pavertė partnerystę savo dirbtinio intelekto strategijos pagrindiniu elementu. Bird pabrėžė, kad Microsoft ir OpenAI skiria dėmesį saugiam dirbtinio intelekto naudojimui ir įdiegia apsaugos priemones į didelius kalbos modelius, kurie yra generatyvaus dirbtinio intelekto pagrindas. „Tačiau negalima pasikliauti vien modeliu“, – sakė ji. „Pavyzdžiui, šie „jailbreakai“ yra modelio technologijos įgimtas silpnumas.“

Padaryk geriausias savo gyvenimo investicijas
fair value · 20 million securities worldwide · 50 year history · 10 year estimates · leading business news

Užtikrinkite nuo 2 eurų

Naujienos